#! /bin/bash
. ./wasm_server.sh

### 模型文件
model_file="/data/llm/mixtral-8x7b-instruct-v0.1.Q5_K_M.gguf"
prompt_template="mistral-instruct"

# model_file=Baichuan2-13B-Chat.gguf
# prompt_template=baichuan-2

### 打印信息
printf "模型文件: $model_file\n\n"
printf "prompt: $prompt_template\n\n"
printf "wasm服务端文件: $wasm_server \n\n"
printf "启动服务 ...\n\n"

wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:$model_file $wasm_server -p $prompt_template \
    --ctx-size 4096 --batch-size 4096 --log-stat
